AI Papers Daily

#Skill Learning

4 篇

SkillForge: Evolving Verifiable Skills for Reinforcement Learning Agents

SkillForge：通过可验证技能演化训练强化学习智能体

🧭 Agent 技能演化与 RL 训练优化 ★ 深度解读

AMAP, Alibaba Group

让 LLM Agent 通过显式技能调用和基于证据的验证，在 RL 训练中持续积累并修正可复用技能

📌 工作参考价值（4 点）

• 在电商导购/客服 Agent 中，可将经验从原始日志蒸馏成结构化技能（title/intent/principle/when to apply），检索时只注入 title+intent 的紧凑目录，调用后展开完整内容，能控制 prompt 长度与 KV cache，适合技能库/策略库持续膨胀的场景。
• 借鉴 evidence-based verification：对每条技能/策略模板维护 EMA 成功率与调用次数，计算 underperformance score，优先让 LLM 反思和改写高失败率策略；可用于推荐 Agent 的 prompt 模板、工具选择策略、query 改写规则库的持续治理。
• 显式技能调用标签把技能使用变成可归因事件，RL 或线上日志可直接统计哪些策略真正影响转化/点击，避免“注入一堆 prompt 但不知道有没有用”；可迁移到生成式推荐的 Semantic ID 策略库或多 Agent 工作流节点的版本管理。
• 多路径技能归纳：从成功会话抽取、失败会话提炼修正、成功/失败对比分析差异生成新策略，且弱模型演化出的技能可迁移到强模型，能降低高质量策略库的生成成本。

Agent | 2026-08-25 | cs.CL | score 8/10

LLM AgentSkill LearningGRPOVerifiable SkillsMemoryRL

Inducing Task Models from Computer-Use Traces

从计算机使用轨迹中归纳任务模型

🧭 Agent 技能归纳与任务建模

Stanford University · Carnegie Mellon University

提出 TMI，自动从交错的低层级操作轨迹中分离潜在任务并构建分层目标与控制流模型，显著提升智能体技能迁移

📌 工作参考价值（4 点）

• 在电商客服/运营自动化等 computer-use agent 场景中，可借鉴 TMI 从员工真实操作日志（点击、输入、页面跳转）自动归纳标准作业流程（SOP）及其子目标层次，即使用户同时处理多个任务也能分离，用于构建可复用的 agent 技能库。
• 技能迁移路径值得复用：先归纳出结构化任务模型（目标分解+控制流），再将其转化为 agent 可调用的技能或 few-shot 示例；论文显示该方式在 held-out 任务上相对最强基线提升 30.0%，说明结构先验对泛化有帮助。
• 任务模型同时包含目标层次和执行流程，比端到端 policy 更可审计、可解释，适合风控/合规要求高的电商自动化流程（如营销活动配置、订单异常处理）。
• 低层事件抽象成步骤、再聚类/归纳分层目标的做法，可作为用户行为序列建模中从点击流恢复用户意图/任务的参考，辅助电商场景下的多会话用户建模与 query 理解。

Agent | 2026-08-20 | cs.CL | score 7/10

Task Model InductionComputer-Use AgentsHierarchical DecompositionProcess MiningSkill LearningTrajectory Clustering

EnvHarness: Awakening Static Worlds for Agent Learning

EnvHarness：可编程环境包装实现 Agent 定向学习

🧭 Agent 环境定制与自动化训练 ★ 深度解读

Washington University in St. Louis · Google Cloud AI Research · Google Cloud · University of North Carolina at Chapel Hill

提出 EnvHarness 可编程层与 EnvRigger 自动诊断循环，将静态环境改造成针对性训练环境，不改底层代码且保留原生验证器

📌 工作参考价值（4 点）

• 可借鉴 EnvHarness 的 Stage/Contract/Chain 包装思路：在不修改现有电商沙盒、对话仿真器等模拟器底层代码的前提下，通过接口层注入初始状态变化、动作约束和观察过滤，低成本生成大量定向训练环境。
• EnvRigger 的黑盒诊断-生成-验证循环适合迁移到客服/导购 Agent 的弱点修复：记录失败轨迹，自动写出限制快捷操作或强制验证行为的 wrapper 代码，并通过新鲜 rollout 接受/拒绝，实现策略与环境共演化。
• 在强化学习训练推荐/搜索 Agent 时，可利用 Contract 屏蔽高奖励但无学习价值的捷径（如直接推荐热门商品），迫使模型探索长尾策略；用 Stage 预设不同用户状态（新用户、低活跃、购物车状态），覆盖长尾场景。
• 保留原始 verifier 的做法值得采纳：所有环境改造通过标准 reset/step 接口完成，评估仍使用可信的人工验证器，避免生成式环境带来的评估失真问题。

Agent | 2026-08-19 | HF Daily | score 8/10

EnvHarnessEnvironment DesignLLM AgentsSkill LearningReinforcement Learning

SkillHarness: Harnessing Safe Skills for Computer-Use Agents

SkillHarness：安全驾驭动态环境中的智能体技能

🧭 Agent 安全技能学习 · 动态环境

Zhejiang University

通过技能边界与选择性重用机制，在动态交互中安全学习技能，不安全率降低57.1%

📌 工作参考价值（4 点）

• 借鉴 skill boundary，为推荐 / 广告 Agent 的动作空间设置多源监督信号（如业务指标、用户反馈），自动识别并过滤高风险策略。
• 在动态推荐场景中引入 selective skill reuse，根据实时上下文（如用户状态、时段）分解任务，仅激活安全的策略子集，避免冷启动或探索期的危险操作。
• 自完善安全约束机制：从历史交互轨迹中持续学习安全边界，在线更新约束，预防模型漂移或对抗攻击（如 prompt 注入）导致的推荐灾难。
• 工业部署时，可在 Agent 决策后增加类似 skill boundary 的安全校验层，对推荐结果进行二次审核，降低线上事故率。

Agent | 2026-06-01 | HF Daily | score 7/10

Computer-Use AgentsSkill LearningSafety ConstraintsDynamic EnvironmentsSkill BoundarySelective Reuse